Huyện Thanh Sơn vào thời Lý Trần là đất đạo Lâm Tây. Thời thuộc Minh là huyện Lung. Năm Quang Thuận thứ 10 (1469), vua Lê Thánh Tông cho định lại bản đồ toàn quốc, đổi gọi là huyện Thanh Nguyên (清源) thuộc phủ Gia Hưng. Tới thời Mạc Phúc Nguyên (1547-1561) do kiêng huý chữ Nguyên nên đổi làm huyện Thanh Xuyên (清川). Đời Lê Trung hưng, do kiêng tên tước của Thanh vương (清王) Trịnh Tráng (1623-1657) đổi viết thành 青川 (vẫn đọc là Thanh Xuyên, từ "thanh" này nghĩa là màu xanh, khác với "thanh" trên đây có nghĩa là trong, sạch). Năm Minh Mạng thứ 14 (1833) tách huyện Thanh Xuyên làm 2 huyện Thanh Sơn và Thanh Thủy. Sau đổi thành châu.

Thời kỳ 1903-1968 thuộc tỉnh Phú Thọ, 1968-1996 thuộc tỉnh Vĩnh Phú.

Sau năm 1975, huyện Thanh Sơn có 1 thị trấn nông trường Phú Sơn và 39 xã: Cự Đồng, Cự Thắng, Địch Quả, Đông Cửu, Đồng Sơn, Giáp Lai, Hương Cần, Khả Cửu, Kiệt Sơn, Kim Thượng, Lai Đồng, Long Cốc, Lương Nha, Minh Đài, Mỹ Thuận, Sơn Hùng, Tam Thanh, Tân Lập, Tân Minh, Tân Phú, Tân Sơn, Tất Thắng, Thạch Khoán, Thạch Kiệt, Thắng Sơn, Thu Cúc, Thu Ngạc, Thục Luyện, Thượng Cửu, Tinh Nhuệ, Văn Luông, Văn Miếu, Vinh Tiền, Võ Miếu, Xuân Đài, Xuân Sơn, Yên Lãng, Yên Lương, Yên Sơn.

Năm 1987, giải thể thị trấn nông trường Phú Sơn.

Năm 1996, huyện Thanh Sơn thuộc tỉnh Phú Thọ vừa được tái lập.

Ngày 28/5/1997, thành lập thị trấn Thanh Sơn - thị trấn huyện lị huyện Thanh Sơn trên cơ sở 290 ha diện tích tự nhiên và 9.894 nhân khẩu của xã Sơn Hùng; 125 ha diện tích tự nhiên và 2.686 nhân khẩu xã Thục Luyện.

Cuối năm 2006, huyện Thanh Sơn có 1 thị trấn Thanh Sơn và 39 xã: Cự Đồng, Cự Thắng, Địch Quả, Đông Cửu, Đồng Sơn, Giáp Lai, Hương Cần, Khả Cửu, Kiệt Sơn, Kim Thượng, Lai Đồng, Long Cốc, Lương Nha, Minh Đài, Mỹ Thuận, Sơn Hùng, Tam Thanh, Tân Lập, Tân Minh, Tân Phú, Tân Sơn, Tất Thắng, Thạch Khoán, Thạch Kiệt, Thắng Sơn, Thu Cúc, Thu Ngạc, Thục Luyện, Thượng Cửu, Tinh Nhuệ, Văn Luông, Văn Miếu, Vinh Tiền, Võ Miếu, Xuân Đài, Xuân Sơn, Yên Lãng, Yên Lương, Yên Sơn.

Ngày 9/4/2007, huyện Thanh Sơn cũ được chia thành 2 huyện Thanh Sơn (mới) và Tân Sơn. Huyện Thanh Sơn có 1 thị trấn và 22 xã, giữ ổn định cho đến nay.